student model(学生模型):在机器学习中,指一个较小或较轻量的模型,通过模仿更大、更强的 teacher model(教师模型) 的输出或中间表示来训练,以在尽量保持效果的同时降低计算量与部署成本。(也可指“学生身份的模特”,但在技术语境中通常指前者。)
A student model learns from a teacher model.
学生模型向教师模型学习。
To deploy on mobile devices, they distilled a large network into a compact student model with minimal accuracy loss.
为了在移动设备上部署,他们把一个大型网络蒸馏成紧凑的学生模型,并尽量减少精度损失。
/ˈstuːdənt ˈmɑːdəl/(美式常见)
/ˈstjuːdənt ˈmɒdəl/(英式常见)
student 源自拉丁语 studēns(“学习的人”),与 study(学习)同源;model 源自拉丁语 modulus(“尺度、范式”)。在机器学习里,“student model”借用了“师生”隐喻:学生通过模仿老师来掌握知识,对应到技术上就是学生模型通过知识蒸馏(knowledge distillation)等方法学习教师模型的行为。